yolov5部署之七步完成tensorRT模型推理加速 |
您所在的位置:网站首页 › yolov5 3060预测速度 › yolov5部署之七步完成tensorRT模型推理加速 |
前言 前段时间研究了Pytorch的环境配置,之后便从github上下载了yolov5的源码,并在自己的电脑端配置好对应的环境并运行,最后发现生成的权重文件yolov5s.pt不仅可以通过量化压缩成onxx模型,而且还可以使用TensorRT推理加速生成engine模型,这对使得模型部署在移动端具有很大的优势,于是便尝试着在自己的电脑上通过TensorRT部署yolov5模型。 现在网上有很多可以参考的博客,但大多数都是针对某一个环节进行了仔细的解释说明,这在前期的学习中不免会让人产生云里雾里的感觉,难以从一个全局的角度去看待这个问题,换句话说就是很少有把整个流程先总结下来,先让我们知道需要那些模块,该准备些什么模块,以及这些模块之间又有什么样的联系,然后再细分到各个小模块去说明解释。所以今天就从这个角度去发出,总结一下最近学习的一些内容。在此之前假设你已经掌握了Pytorch、CUDA、cuDNN的基础知识以及配置好了yolov5的环境并调试运行过源码 注:如果还没有掌握上述基础知识,可以参考另外两篇博文 1. 2. 首先整个过程分为以下7个步骤(模块): step 1. 下载yolov5源码以及tensorrtx源码,并将yolov5s.pt转为.wts模型。- step 2. 确定并下载自己准备使用的CUDA版本。- step 3. 根据自己的CUDA版本下载对应版本的cuDNN以及TensorRT- step 4. 根据自己使用的VS版本下载对应版本的OpenCV- step 5. 安装CUDA - step 6. 安装cuDNN、TensorRT以及验证TensorRT是否安装成功- step 7. 下载Cmake软件,利用Cmake软件编译生成yolov5的VS工程,测试并完成推理下面将从这个7个步骤,逐步进行解释,首先贴出我的环境:系统 : WIN 10- cuda_10.2.89_441.22_win10- cudnn-10.2-windows10-x64-v8.1.1.33- TensorRT-7.0.0.11.Windows10.x86_64.cuda-10.2.cudnn7.6- OpenCV 3.4.3- CMake 3.9.16代码版本:yolov5 3.0- tensorrtx 3.0git clone -b v3.0 https://github.com/ultralytics/yolov5.git git clone -b yolov5-v3.0 https://github.com/wang-xinyu/tensorrtx.git这里不得不说一下wang-xinyu的工作实在是太赞了!源码地址点 step 1. 下载yolov5源码以及tensorrtx源码,并将yolov5s.pt转为.wts模型 将tensorrtx源码中的gen_wts.py复制到yolov5源码中并运行,生成.wts模型。![]() 略 网址: ![]() 略 网址: ![]() 略 step 5. 安装CUDA安装cuda这里解答几点疑惑 安装直接默认即可,不用设置不同的路径,设置相同路径不会互相影响。- 一台电脑安装可以安装多个cuda版本, 且不同版本之间不会覆盖- 不同版本的cuda之间的切换,只需将环境变量的路径置前即可。我这里安装了两个cuda版本,所以有两个文件夹![]() 1. 安装cuDNN 1 将cuDNN压缩包解压- 2 将cuda\bin中的文件复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\bin- 3 将cuda\include中的文件复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\include- 4 将cuda\lib中的文件复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\lib4步完成cuDNN安装2. 安装TensorRT 1 将TensorRT压缩包解压- 2 将 TensorRT-7.0.0.11\include中头文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\include- 3 将TensorRT-7.0.0.11\lib 中所有lib文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\lib\x64- 4 将TensorRT-7.0.0.11\lib 中所有dll文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin4步完成TensorRT安装3. 验证TensorRT是否安装成功 1-用VS2015 打开 TensorRT-7.0.0.11\samples\sampleMNIST\sample_mnist.sln- 2- 在VS2015中,右键工程,选择属性->配置属性->常规->目标平台版本->8.1- 3- 在VS2015中,右键工程,选择属性->配置属性->常规->平台工具集->vs2015(v140)- 4- 右键工程->重新生成- 5- 用anaconda 进入TensorRT-7.0.0.11\data\mnist 目录,运行python download_pgms.py- 6- 进入TensorRT-7.0.0.11\bin,双击sample_mnist.exe,如果没有报错则说配置成功。![]() 第6步运行出现如下结果,则说明配置成功注:如果提示没有.pgm文件,则检查第5步是否下载了数据 ![]() 1. 下载Cmake软件 略 2. 配置OpenCV环境变量 1-新建一个系统变量OpenCV_DIR- 2- 在系统变量Path中添加OpenCV343路径![]() ![]() 3. 修改tensorrtx/yolov5/CMakeLists.txt文件中的OpenCV和TensorRT路径 注:CMakeLists.txt为生成VS工程的配置文件,源码为作者的路径,需要设置成自己的路径,主要是 OpenCV和TensorRT的路径 ![]() 4. 利用Cmake软件编译生成yolov5的VS工程 1- 打开CMake- 2- source code 为源码的路径 build the binaries 为生成的VS工程的路径- 3- 路径设置完成后,点击左下方 Configure,然后选择VS的版本以及x64平台- 4- 点击Generate生成项目![]() ![]() ![]() 注:配置时出现这样红色的警告忽略 ![]() 注:最后一步生成报错也忽略,然后打开工程 ![]() 5. 打开yolov5的VS工程,生成engine模型 1- 在刚刚设置的build the binaries 路径下,打开yolov5的工程- 2- 编译生成- 3- 可以看到在\tensorrtx\yolov5\build\Debug文件下生成了一个yolov5.exe文件- 4- cmd进入到\tensorrtx\yolov5\build\Debug目录下,然后执行yolov5.exe -s 命令, 可以看到在当前目录下生成了一个yolov5.engine文件,说明转换成功。- 5- 在\tensorrtx\yolov5\build\Debug目录下新建一个samples文件夹然后放入测试图片,最好通过cmd执行yolov5.exe -d ../samples,调用yolov5.engine进行测试![]() ![]() ![]() ![]() ![]() ![]() 最后打个广告,点个赞再走! 总结在中间的过程中可能会出现以下问题: 找不到dll,请检测自己的cuDNN,和TensorRT是否安装成功。- 如果有Assertion failed: engine != nullptr错误,请检查自己的TensorRT版本是否匹配。- 如果CMake生成的yolov5的VS工程编译不通过,请检查自己的cuda, cuDNN, 以及TensorRT的版本。 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |